Tillerson sinh ngày 23 Tháng 3 năm 1952, tại Wichita Falls, Texas, là con trai của Patty Sue (nhũ danh Patton) và Bobby Joe Tillerson.[11] Hoạt động trong Hội Nam Hướng đạo Mỹ phần lớn cuộc đời của mình, ông từng đạt được danh hiệu Hướng đạo Đại bàng ưu tú vào năm 1965.

Tillerson nhận bằng cử nhân kỹ sư xây dựng dân dụng từ Đại học Texas ở Austin vào năm 1975. Trong suốt thời gian của mình tại UT Austin, ông đã tham dự câu lạc bộ Tejas,[12] Longhorn Band, và Alpha Phi Omega.[13] Năm 2006, ông được bầu chọn người tốt nghiệp kỹ thuật xuất sắc.[14]